package com.itheima.pojo;

/**
 * 常量类,用于保存爬虫已经爬到的set的key值
 * 这边的大key标识的是你要存取的数据类型给他起了一个名字,比如说set,起个名字SET
 * 然后再大key所对应的集合中再存储你所需要的内容,这样来保证每次通过一个大key就可以存储多个url或其他数据
 * 比如,进行验证是否重复爬取功能
 */
public class SpiderFinal {

    /*
        163爬虫常量
        本质是给redis数据库存储的时候起的名字
     */
    public static final String SPIEDR_NEWS163="bigData:spider:163news:docurl";

    /*
        腾讯新闻爬取常量
     */
    public static final String SPIEDR_NEWSQQ="bigData:spider:QQnews:docurl";

    /**
     * 163和腾讯爬虫共用的set集合：判断url是否重复爬取的set集合的key
     */
    public static  final  String SPIDER_NEWS_URLSET = "bigData:spider:urlSet";


    /**
     * 163爬虫爬取的url存放在redis的list数据结构中的大key
     * 用于队列,往出取url的时候用
     */
    public static  final  String SPIDER_NEWS_URLLIST = "bigData:spider:urlList";


    /**
     * 163和腾讯爬虫共用的list集合: 存放解析后的News对象的大key
     */
    public static  final  String SPIDER_NEWS_NEWJSONLIST = "bigData:spider:newsJsonList";
}
